Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
背景2023年双11高峰之际，实时平台有一个消费Kafka写hudi的FlinkSQL类型的实时任务，每天Kafka流入的高峰时段有近350万/分钟的流入量，而任务的消费速率平均在230万/分钟左右，这导致任务写hudi遇到较严重性能瓶颈和消息积压，对业务造成影响。任务的具体积压情况如下图1所示。图1任务消费积压图（X轴是时间，单位分钟，Y轴是消息数量）针对上述情况，我们对任务进行了分析和优化，解决了此任务写hudi的性能问题，满足了高峰的要求。具体分析处理方法我们继续看。2问题排查和处理首先我们进入任务的FlinkWebUI页面，查看到任务在没有做checkpoint时的执行图，没有发现明显
🦄 个人主页——🎐开着拖拉机回家_Linux,大数据运维-CSDN博客 🎐✨🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁感谢点赞和关注，每天进步一点点！加油！目录一、DataSophon是什么1.1DataSophon概述1.2架构概览1.3设计思想二、解压新旧组件安装包三、修改安装包中文件和目录四、重新生成安装包3.1重新打包3.2生成加密码3.3生成md5加密文件五、删除已装的组件包flink(ALL)六、修改service_ddl.json七、修改env环境变量(ALL)7.1修改环境变量配置参数(ALL)7.2重启manager服务八、重新安装服务九、测试验证一、DataS
11.7函数11.7.1系统函数标量函数只有数值大小，没有方向的量，行变行比较函数逻辑函数算数函数字符串函数时间函数聚合函数多行变一行count(),sum(),rank(),row_number()11.7.2自定义函数(UDF)分类标量函数，聚合函数：多对一表函数，表聚合函数：一对多，多对多调用流程注册函数tableEnv.createTemporarySystemFunction("MyFunction",MyFunction.class);createTemporarySystemFunction属于系统函数，全局的，如果不需要可以用它createTemporaryFunction使用
一、端到端精准一次先来讲讲状态一致性状态一致性概念：一致性其实就是结果的正确性。对于分布式系统而言，强调的是不同节点中相同数据的副本应该总是“一致的”。而对于Flink来说，多个节点并行处理不同的任务，我们要保证计算结果是正确的，就必须不漏掉任何一个数据，而且也不会重复处理同一个数据。流式计算本身就是一个一个来的，所以正常处理的过程中结果肯定是正确的；但在发生故障、需要恢复状态进行回滚时就需要更多的保障机制了。状态一致性分类：最多一次（AT-MOST-ONCE）当任务发生故障时，最简单的做法就是直接重启，别的什么都不干；既不恢复丢失的状态，也不重放丢失的数据。每个数据在正常情况下会被处理一次，
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Flink内置了很多Connector，可以满足大部分场景。但是还是有一些场景无法满足，比如RocketMQ。需要消费RocketMQ的消息，需要自定时Source。一、自定义FlinkRocketMQConsumer参考FlinkKafkaConsumer：publicclassFlinkKafkaConsumerextendsFlinkKafkaConsumerBase{}publicabstractclassFlinkKafkaConsumerBaseextendsRichParallelSourceFunctionimplementsCheckpointListener,ResultT
现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。如下图所示，根据现实的数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界数据集，另外一种是无界数据集。有界数据集有界数据集具有时间边界，在处理过程中数据一定会在某个时间范围内起始和结束，有可能是一分钟，也有可能是一天内的交易数据。对有界数据集的数据处理方式被称为批计算BatchProcessing，例如将数据从RDBMS或文件系统等系统中读取出来，然后在分布式系统内处理，最后再将处理结果写入存储介
1.基本环境 1.17.02.类文件packagecom.flink.tablesql;importorg.apache.commons.io.FileUtils;importorg.apache.commons.lang3.StringUtils;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.flink.table.api.bridge.java.StreamTableEnvironment;importjava.io.File;importjava
今天打包一个flink的maven工程为jar，通过flinkwebUI提交，发现居然报错。如上图所示，提示错误为：ServerResponseMessage:org.apache.flink.runtime.rest.handler.RestHandlerException:Nojobsincludedinapplication.at【解决方案】查看 JOBManager日志发现是环境问题，再仔细看，居然使用了StreamExecutionEnvironment.createLocalEnvironmentWithWebUI问题已找到，修改即可 StreamExecutionE
